阻止*并且只允许主要搜索引擎仅索引站点索引页的最短方法是什么？User-agent:*Disallow:/User-agent:GooglebotDisallow:/Allow:index.htmlUser-agent:SlurpDisallow:/Allow:index.htmlUser-agent:msnDisallow:/Allow:index.html这行得通吗？ 最佳答案 是的，那将是最短的方法。这不一定是正确的。并非所有机器人都支持Allow指令。当同时存在User-agent:*部分和User-agent:Specif
说如果我有www.xxx.com/origin-to-destination/date/time,将谷歌索引www.xxx.com/origin-to-destinationorwww.xxx.com/origin-to-destination/date/time或两者兼而有之 最佳答案 Google会将页面而不是它的url编入索引。但是，当显示链接作为对搜索条件的响应时，可以省略这些元素。对于同一域中的许多链接，似乎重复的任何内容都将替换为“...”。就日期和时间而言，谷歌在为搜索条件选择最佳匹配时肯定会使用它们。
这个问题在这里已经有了答案:关闭12年前。PossibleDuplicate:Whygoogleindexthis?在此网页中:http://www.alvolante.it/news/pompe_benzina_%E2%80%9Ctruccate%E2%80%9D_autostrada-308391044有这张图片:http://immagini.alvolante.it/sites/default/files/imagecache/anteprima_100/images/rifornimento_benzina.jpg如果在robots.txt中有“Disallow:/sites
我正在为一个网站使用谷歌地图。通过主页上的map提供的所有数据也列在整个站点的其他页面上，但是在启用javascript的情况下，这些页面会重定向到主页:例如http://host.com/county/essex重定向到http://host.com/#county/essex,这使得map加载了Essex的所有数据。我希望Google将我网站上的所有页面编入索引，否则map中包含的所有数据都无法搜索到。但我知道出于非常充分的理由，Google通常不会为重定向的页面编制索引。有没有办法让谷歌索引我的网页。或者，如果做不到这一点，是否可以通过其他方式将所有数据提交给谷歌？*编辑我的所有
我已经更改了我网站的关键字、描述和标题，但Google没有为新关键字编制索引。相反，我发现Google正在为旧版本编制索引。如何让Google使用我添加的新关键字为我的网站编制索引？ 最佳答案 抓取页面之间的时间段因页面而异很多。发布到SO的帖子将在几秒钟内被Google抓取并编入索引。您的个人页面在20年内未更改内容可能甚至每年都不会被抓取一次。向webmastertools提交站点地图可能会重新抓取您的网站以验证您的站点地图。您可以使用它来加速重新抓取。但是，正如@Charles指出的那样，keywords元标记大多被Googl
我的问题是我更改了我的网站关键字并将其提交给谷歌，即由谷歌MetaTag验证。谷歌正在为这些关键词编制索引。我已经更改了我的关键字，但是谷歌索引的是较旧的关键字而不是最近的关键字，我需要通过googleMetaTag重新验证吗或者请向我推荐任何其他可以索引我的新关键字的解决方案 最佳答案 Google抓取工具并非每天都运行。有时可能需要长达一周的时间才能将新关键字编入索引。这只是等待的问题。他们会出现的。如果您有内容经常更改的页面，当您向google提供您的站点地图时，您可以规定这一点。http://www.xml-sitemaps
我目前正在与客户合作重新开发他们的网站。在发布之前我需要做的最后一件事是确保他们的旧网站页面正确重定向到新网站的新URL结构。不幸的是，当我查看Google以查看他们当前网站的索引情况时，这个相对较小的网站似乎有超过1500个页面被索引。当我查看Google上的索引链接时，许多似乎是同一页面的重复，但由于旧网站上使用的糟糕URI结构，Google以不同方式对待它们。例如，“map”页面在Google上至少被索引了两次，分别位于以下2个URL下:www.website.com/frame_page-map.html?mp_session=iris7k85851j05q55piqci31u
system文件夹、img文件夹、css文件夹、js文件夹中包含与网站内容无关的代码。我们应该在robots.text中禁止它们吗？ 最佳答案 禁止目录使用robots.txt文件意味着:他们的内容不会被主要搜索引擎编入索引如果这些文件包含与您的网站无关的内容，和/或不应在搜索中返回，您可以这样做。但他们的内容仍然可供用户使用robots.txt只是对爬虫的指示——绝对不是禁止任何人访问的方法。 关于codeigniter防止系统文件夹和文件夹被索引，我们在StackOverflow上找
我的网站上每个页面都有两个版本-有数千个....现在这导致了谷歌的各种问题，由于重复的内容，我正在下拉搜索结果.这是在我的网站上启用“SEO友好URL”的结果。有没有一种方法可以将所有以saybrands.php开头的页面重写为他们的SEO友好版本？例如/products.php?product=Oil-Pump-Star到/prducts/oil-pump-star/....无需手动浏览每个URL...如果这令人困惑，我们深表歉意-我发现很难将确切的情况写成文字!欢迎任何意见! 最佳答案 这看起来您正在使用JoomlaCMS。您可
关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗？Updatethequestion所以它是on-topic用于堆栈溢出。关闭11年前。Improvethisquestion我为客户制作了一个基于wordpress的网站。完成后，我在google上提交了该网站，就像我对所有其他网站所做的那样-将google网站管理员生成的.html文件放在网站根目录中，并制作了一个sitemap.xml。网站在第一周没有出现，所以我重新提交了站点地图。2周后再次发生同样的事情。几天前，我注意到客户正在探索wordpress管理，不小心勾选了“从搜索引擎中阻止我的站点”-添加了在h
